Sinh tại Aschersleben thuộc vùng Saxony trong một gia đình quý tộc Phổ, von Rundstedt tòng quân năm 1892 và năm 1902 theo học trường võ bị sĩ quan cao cấp - trường này mỗi năm chỉ nhận 160 thí sinh và chỉ 40 người ra trường. Ông và các anh em của mình tham gia trong lực lượng Quân đội Đế chế Đức giữa lúc sĩ khí, quân thanh hừng hực vì niềm tự hào với đại thắng hiển hách trong cuộc Chiến tranh Pháp-Phổ hai mươi năm về trước.[3] Trong thời Chiến tranh thế giới thứ nhất, von Rundstedt lên đến chức thiếu tá năm 1918 và là tham mưu trưởng của sư đoàn.

Sau cuộc chiến, von Rundstedt được cử làm chỉ huy trưởng Sư đoàn 3 bộ binh vào năm 1932. Cùng năm, ông hăm dọa từ chức khi Franz von Papen ra thiết quân luật và ra lệnh cho binh sĩ của ông truy lùng người theo đảng Quốc xã tại các văn phòng chính phủ. Năm 1938 ông được cử giữ chức vụ tư lệnh Tập đoàn quân số 2 nhưng sau đó bỏ việc về hưu khi nghe tin Gestapo đổ tội oan và bắt tổng tư lệnh Lục quân Đức Werner von Fritsch. Tuy vậy, ông vẫn được bổ nhiệm vào chức vụ chỉ huy trưởng danh dự của trung đoàn bộ binh 18 với quân hàm Đại tá.